Wigner sinh ra ở Budapest, Áo-Hungary (bây giờ là Hungary) trong một gia đình trung lưu người Do Thái. Vào năm 11 tuổi, Wigner bị bệnh mà cha mẹ cậu tin rằng đó là lao phổi. Họ gửi cậu đi 6 tuần vào một bệnh xá trong vùng núi của Áo. Trong thời gian này, Wigner bắt đầu thích các bài toán. Từ năm 1915 đến 1919, cùng với John von Neumann, Wigner học tại trường trung học của Giáo hội Luthera Fasori Evangélikus Gimnázium nơi họ cùng học với thầy dạy toán tên là László Rátz. Vào năm 1919, để tránh chế độ Bela Kun, gia đình tạm lánh sang Áo, chỉ quay về sau sự sụp đổ của nhà nước Kun. Một phần như là sự phản ứng về sự hiện diện khá đông của cộng đồng Do Thái trong chế độ Kun, toàn bộ gia đình chuyển đạo sang Giáo hội Luther.[1] Vào năm 1921, Wigner học ngành hóa kỹ thuật (chemical engineering) tại trường Technische Hochschule ở Berlin (ngày nay là Technische Universität Berlin). Ông cũng thường xuyên tham dự các buổi hội thảo thứ 4 hàng tuần của Hiệp hội Vật lý Đức. Những buổi hội thảo này quy tụ những tên tuổi lớn đương thời như là Max Planck, Max von Laue, Rudolf Ladenburg, Werner Heisenberg, Walther Nernst, Wolfgang Pauli và — đáng kể nhất là — Albert Einstein. Wigner cũng gặp nhà vật lý Leó Szilárd, người có thời là bạn thân nhất với Wigner. Wigner đã từng làm việc tại Kaiser Wilhelm Institute, và nơi đây ông đã gặp Michael Polanyi, người sau này trở thành, sau László Rátz, người thầy lớn nhất của Wigner.